Многие администраторы платформы VMware vSphere заметили, что в версии VMware vSphere 6.5 несколько поменялся механизм запуска виртуальных машин в случае сбоя в кластере HA. Об этом интересно недавно написал Дункан Эппинг.

Напомним, что приоритет HA Restart Priority нужен для того, чтобы виртуальные машины могли запуститься в определенном порядке, и их сервисы корректно подхватили уже работающие приложения, запущенные предыдущей очередью ВМ. Всего один хост VMware ESXi может одновременно начать запуск до 32 виртуальных машин, поэтому в большом кластере с большим числом ВМ это действие нужно приоритизировать.

С точки зрения наступления момента запуска следующей очереди набора ВМ есть 4 таких события:

• Resources are allocated - это дефолтная настройка в кластере HA. Ресурсы аллоцируются в тот момент, когда master-хост выбрал хосты для восстановления и запуска ВМ. Это занимает совсем небольшое время (миллисекунды).
• VMs are powered on - это означает, что машина запустилась, и ESXi считает ее запущенной (но не гостевую ОС). Это занимает иногда 10-20 секунд, а иногда и несколько минут.
• Guest heartbeat is detected - это когда от гостевой ОС VMware получает отклик, например, через VMware Tools.
• App heartbeat is detected - это когда получен отклик от определенного приложения. В этом случае у вас должен быть настроен VM/Application Monitoring, который позволит оповестить о том, что приложение запустилось, и можно его использовать.

Если вам нужно убедиться, что работает сервис (то есть гостевая ОС и приложения), так как ВМ следующей очереди должны его использовать - то нужно опираться на последние два события.

Теперь приоритет восстановления ВМ (Restart Priority) содержит 5 уровней вместо трех, которые были в vSphere 6.0:

• Lowest
• Low
• Medium
• High
• Highest

Такие странные названия сделаны в целях совместимости с прошлой классификацией - Low, Medium и High.

Чтобы начать настройку Restart Priority, в vSphere Web Client нужно выбрать кластер HA и перейти на вкладку Configure, после чего выбираем раздел VM Overrides и нажимаем кнопку "Add":

Далее выбираем виртуальные машины, для которых мы хотим задать приоритет запуска:

И здесь главное - это выбор нужного приоритета из пяти уровней и выставление условия "Start next priority VMs when", то есть триггера запуска следующей очереди приоритета:

Все эти настройки применяются и для кластера, в котором не работает vCenter (в случае большого сбоя). Ну и посмотреть текущие настройки приоритетов запуска ВМ в кластере HA можно следующей командой:

/opt/vmware/fdm/fdm/prettyPrint.sh clusterconfig

Вывод будет очень большим, так что ищите в нем текст "restartPriority".

Иногда администраторы пытаются изменить имя хоста для сервера VMware vCenter, vCenter Server Appliance (vCSA) или компонента Platform Services Controller (если он развертывается на отдельном хосте). В этом случае коллеги ищут, как это сделать и натыкаются на вот эту KB 2130599.

Действительно, сделать это никак нельзя (по крайней мере, для VC версий 6.0 и 6.5). У vCenter есть идентификатор PNID (primary network identifier), который также называется System Name во время инсталляции. Он присваивается в момент развертывания vCenter/PSC, и если вы указали FQDN-имя, то PNID им и станет, а если IP-адрес, то он тогда станет PNID.

Если вы указали FQDN-имя, то вы сможете поменять IP-адрес vCenter, и это ни на что не повлияет. Но если же вы при развертывании вбили IP-адрес как System Name, то уже не только имя, но и IP сервера vCenter/vCSA поменять вы не сможете.

Чтобы узнать, какой у вас на сервере PNID, надо выполнить такую команду:

root@vc [ ~ ]# /usr/lib/vmware-vmafd/bin/vmafd-cli get-pnid --server-name localhost

Если же вы, все-таки, поменяете имя vCenter или vCSA, то их службы попросту не смогут запуститься, а в логе vmware-sts-idmd.log вы увидите вот такой текст:

[2015-07-16T08:17:31.353-06:00 vsphere.local 47c25a86-20c3-49c6-9ec0-c5579b36c83d ERROR] [IdentityManager] Failed to authenticate principal [Administrator@domain] for tenant [vsphere.local] 

com.vmware.identity.idm.IDMLoginException: Access denied

Ну а в логе vpxd.log - вот такой:

2015-09-01T10:41:51.532-06:00 warning vpxd[03740] [Originator@6876 sub=Default] Failed to connect socket; <io_obj p:0x000000000c4d83d8, h:3392, <TCP '0.0.0.0:0'>, <TCP '</font>IP_Address'>>, e: system:10060(A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond)

2015-09-01T10:41:51.532-06:00 error vpxd[03740] [Originator@6876 sub=HttpConnectionPool-000011] [ConnectComplete] Connect failed to <cs p:0000000008d2dda0, TCP:</font>vcenter.domain.local:443>; cnx: (null), error: class Vmacore::SystemException(A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond)

Кстати, если у вас остался снапшот vCenter до смены имени хоста - можете просто к нему откатиться. Ну или можете сделать бэкап базы VC, развернуть новый сервер с новым System Name и накатить на него этот бэкап.

Если вы наблюдали за обновлениями утилит на сайте проекта VMware Labs, то наверное заметили, что в этом году выходили только обновления старых средств, но не появлялось ничего нового.

На днях впервые в этом году появился новый Fling - PowerCLI Preview for NSX-T. Это превью набора PowerCLI командлетов для управления решением NSX-T. Напомним, что это решение для построения сетей software-defined датацентров, как на базе гипервизора VMware vSphere, так и на базе других технологий, таких как контейнеры или средства виртуализации KVM.

Вся функциональность PowerCLI Preview for NSX-T сосредоточена в одном модуле. Для начала работы с данным интерфейсом вам потребуется PowerCLI 10.0.0 (а именно модуль VMware.VimAutomation.Nsxt) и ОС Microsoft Windows. Если вы не видите этого модуля у себя, то посмотрите, как правильно поставить PowerCLI последней версии:

• Online Walkthrough
• Offline Walkthrough

Всего PowerCLI Preview for NSX-T включает аж 280 командлетов, покрывающих различные стороны решения NSX-T. Они были сгенерированы автоматически, поэтому кое-где возможны баги.

Многие из этих командлетов (такие как, например, Get-LogicalSwitch) оперируют логическими сущностями, что очень удобно для написания сценариев без погружения в дебри структур NSX-T (это так называемые high-level командлеты), ну а есть low-level командлеты, такие как, например, Get-NsxtService. После установки посмотреть список командлетов можно командой:

Ged-Command -Module VMware.VimAutomation.Nsxt.Commands

Для тех из вас, кто хочет погрузиться в изучение возможностей PowerCLI Preview for NSX-T есть отличный пост "Getting Started with the PowerCLI Module for VMware NSX-T".

Скачать PowerCLI Preview for NSX-T можно по этой ссылке.

Это гостевой пост нашего партнера - компании ИТ-ГРАД. «Мир – это книга, и те, кто не путешествует, читают лишь одну ее страницу», – с этим утверждением сложно не согласиться. Ведь путешествия стирают границы, открывают новые горизонты, дарят массу положительных эмоций.

Сегодня практически любая поездка не обходится без высоких технологий: люди привыкли работать с сервисами бронирования отеля или автомобиля, покупки билета или пакетного тура. При этом большинство таких решений размещаются в облаке. О том, как облачные технологии позволяют добиться стабильной работы сервисов, расскажем на примере кейсов отдельных компаний.

Hotels.ru – бронирование из облака по всему миру

Подробнее об опыте использования облака компанией Hotels.ru

Сегодня, когда путешествия доступны практически каждому, сервисы бронирования отелей за рубежом стали еще более востребованными. К счастью, прошли те времена, когда «забукать» отель было чем-то невероятно сложным и приходилось обращаться в турагентства. В эпоху развития онлайн-сервисов увеличилось количество инструментов-агрегаторов, которые позволяют выбрать вариант проживания на любой вкус и кошелек, в любой точке мира, с возможностью оформить резерв, почитать или оставить отзыв, получить круглосуточную техническую поддержку. Вот только не каждый сервис обеспечивает полную прозрачность в отношении цены и предоставляет русскоязычного помощника, способного разобраться в возникшей проблеме. Восемь лет назад ныне популярный бренд hotels.ru исправил эти недочеты. Так появился новый российский сервис, который позволил выводить все доступные цены и способы бронирования с учетом сайтов конкурентов. Но поскольку такой подход подразумевает обработку и анализ огромных массивов данных, которые берутся из различных источников, потребовались серьезные вычислительные мощности. В результате, пройдя путь от покупки и администрирования собственного оборудования, когда ресурсов стало не хватать, а обновление парка серверов и колоссальные вложения в новое железо вызывали вопрос «как быть дальше», решили переехать в облако...Читать статью далее->>

Мы часто пишем о продукте StarWind Virtual SAN, который позволяет организовать кластеры отказоустойчивых хранилищ на базе серверов для виртуальных машин VMware vSphere и Microsoft Hyper-V. В связи с большим интересом к тому, как именно работает это решение с технической точки зрения, постараемся писать об этом побольше. Сегодня мы расскажем об опциональной файловой системе LSFS (Log-Structured File System), которая повышает производительность операций записи и срок службы накопителей.

У некоторых пользователей VMware vSphere при обновлении серверов VMware ESXi возникает проблема - при выполнении команды "esxcli software vib update" в ответ возникает ошибка "No space left on device", хотя с дисками все в порядке, и на них много свободного места, в чем можно убедиться с помощью команды df -h.

Например, появляется вот такой вывод при попытке обновления:

[InstallationError]

[Errno 28] No space left on device

vibs = VMware_bootbank_esx-base_6.5.0-1.41.7967591

Please refer to the log file for more details.

В то же время вывод df -h говорит, что места на всех разделах достаточно:

Очень редко причина такого поведения оказывается проста - на хосте не хватает файловых объектов inodes, как описано в KB 1007638. Это объекты файловой системы, которых может быть до 640 тысяч на одном томе VMFS. Их используемое количество зависит от числа файлов в файловой системе в данный момент.

Проверить наличие свободных inodes можно командой stat -f /:

На картинке мы видим, что запас их еще весьма большой - они почти не израсходованы. Как правило, указанного лимита достичь очень и очень сложно, поэтому чаще всего упомянутое выше сообщение об ошибке связано совсем с другим. Но если вы все же достигли этого лимита, решение тут несложное - удалить какое-то число файлов с ESXi.

Например, можно найти лог-файлы и прочие файлы на хосте ESXi размером более 50 МБ, которые находятся НЕ на томах VMFS (чтобы не задеть логи ВМ), можно следующей командой:

find / -path "/vmfs" -prune -o -type f -size +50000k -exec ls -l '{}' \;

По итогу будет сгенерирован список преимущественно локальных файлов, который будет содержать ISO-образы, большие лог-файлы и т.п., которые уже скорее всего не нужны, и их можно удалить (а лучше переместить на какое-нибудь хранилище в целях архивирования). Также рекомендуем почитать KB 1008643, которая как раз посвящена удалению файлов в целях высвобождения объектов inodes.

Между тем, в случае появления приведенной в начале статьи ошибки о недостатке свободного места очень вероятно, что хост ESXi не может аллоцировать достаточно оперативной памяти (RAM) для проведения обновления. В этом случае вам просто надо включить ESXi system swap, который будет размещен на одном из датасторов, куда будут сбрасываться страницы оперативной памяти при недостатке памяти во время обновления.

Сделать это можно, зайдя в раздел Manage > Settings > System Swap, после чего нажав Edit...:

Выберите датастор и нажмите Ok. Также это можно сделать с помощью функционала Host Profiles:

После выбора датастора для системного свопа обновите хост ESXi и перезагрузите его.

Компания VMware опубликовала интересный постер об архитектуре Cloud Foundation (VCF) - VMware Cloud Foundation Architecture Poster 2.3. Напомним, что данная архитектура включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack и VMware Horizon в онпремизной или облачной инфраструктуре.

Новый постер сфокусирован на добавленных компонентах решения семейства vRealize Suite:

Если посмотреть на диаграммы постера, посвященные vRealize Operations Manager и vRealize Automation, то можно увидеть, как архитектура VCF интегрирована с решением NSX, что позволяет создавать балансировщики NSX Edge (он развертывается автоматически при развертывании приведенных выше компонентов vRealize).

Кроме этого, еще одна новая секция постера рассматривает некоторые возможности обеспечения ИТ-безопасности, находящиеся в составе VCF, например, функции шифрования горячей миграции vMotion и хранилищ vSAN (data at rest encryption). Также рассмотрены средства шифрования виртуальных машин, реализуемые с помощью сторонних сервисов KMS:

Скачать VMware Cloud Foundation Architecture Poster можно по этой ссылке.

В самом конце прошлого года компания VMware выпустила обновление пакета улучшений гостевых систем VMware Tools 10.2.0. А на днях эта ветка пакета обновилась до версии VMware Tools 10.2.5. Напомним, что ветка тулзов 10.2 - это идейный продолжатель первого ответвления 10.1, которое содержит развивающиеся версии для современных гостевых ОС.

Обновленные VMware Tools совместимы с VMware vSphere 5.5 и более поздними версиями платформы, а также с продуктами для настольной виртуализации VMware Workstation и Fusion.

Давайте посмотрим, что нового появилось в VMware Tools 10.2.5:

• VMware Tools 10.2.5 поддерживает следующие операционные системы:
  • Образ windows.iso поддерживает Windows Vista и более поздние ОС.
  • Образ linux.iso поддерживает Red Hat Enterprise Linux (RHEL) 5 и более поздние, SUSE Linux Enterprise Server (SLES) 11 и позднее, Ubuntu 10.04 и позднее. Также он поддерживает другие дистрибутивы с glibc версии 2.5 и более поздние.
  • Образ darwin.iso поддерживает Mac OS X версии 10.11 и позднее.
  • Образ solaris.iso поддерживает какие может версии Solaris.
• Изменения драйвера NSX: VMware Tools 10.2.5 поддерживают драйвер vnetWFP от Windows 7 и более поздних ОС.
• Возможности Quiesced snapshots - теперь можно исключать некоторые файловые системы из "подмороженных" снапшотов (quiesced snapshots) в гостевых ОС Linux. Эта конфигурация может быть установлена в файле настроек VMware Tools (подробнее написано в документации).
• Настройка отключения display resolution mode: в KB 53572 написано о том, как отключить эту настройку. Чтобы не позволить изменять разрешение экрана через VMware Tools, в VMX-файл виртуальной машины нужно добавить строчку:
  guestInfo.svga.wddm.modeset="FALSE"
  
• Изменения в сетевом драйвере виртуальных сетевых адаптеров виртуальных машин VMXNET3:
  • Функции Receive Side Scaling (RSS) включены по умолчанию.
  • Receive Throttle: дефолтное значение этой настройки установлено в 30.
    Важно отметить, что эти две настройки не обновят существующие сетевые адаптеры. Новые настройки будут применены только к свеженакатанным VMware Tools или при добавлении новых адаптеров к ВМ. Для обновления существующих адаптеров используйте скрипт. Более подробно об этом рассказано в KB 2008925.

Загрузить VMware Tools 10.2.5 можно по этой ссылке. Release notes доступны тут, а полный набор документации - тут.

На днях компания VMware обновила свое средство для управления виртуальной инфраструктурой на базе технологии HTML5 - на сайте проекта VMware Labs появился VMware vSphere Client версии 3.36.

Напомним, что о версии 3.34 этого продукта мы писали в середине февраля вот тут, поэтому давайте взглянем на новые функции и улучшения последних двух версий клиентов - VMware vSphere Client 3.36 и 3.35:

• Кастомизация дополнительных устройств и опций при создании виртуальной машины или ее клонировании:
• Host USB device
• SCSI controller
• USB controller
• SATA controller
• CPU > CPUID Mask > Advanced
• VM Options > VMRC options
• VM Options > VMware Tools > Power Operations
• VM Options > Power Management > Wake up on LAN
• VM Options > Advanced Configuration Parameters
• VM Options > Fibre Channel NPIV
• Оповещение перед тем, как происходит операция над шаблоном ВМ, который в данный момент управляется клиентом.
• Улучшения интерфейса для быстрого поиска (Quick search).
• Улучшения в панели управления дисками ВМ - теперь они объединяются в группы в разделе VM Summary->Edit Settings (если их больше 4 штук).
• Несколько исправлений багов и мелких улучшений.

Скачать VMware vSphere Client 3.36 можно по этой ссылке.

Недавно мы писали о полезном документе для администраторов VMware vSphere 6.5 - Performance Best Practices for VMware vSphere 6.5. Этот документ обязательно надо прочитать, там много всего полезного и интересного.

Например, там есть немного про улучшение команды esxtop, показывающей производительность хоста и виртуальных машин в различных аспектах. Теперь там добавилась метрика Power Management, где можно в реальном времени наблюдать за актуальной частотой процессора. Эта информация теперь отображается в колонке %A/MPERF.

Чтобы добавить ее, после запуска esxtop нажмите клавишу <p> и затем клавишу <f> для добавления колонки.

Вы увидите значения, некоторые из которых больше 100. Например, для процессора 2 и 4 на картинке выше значения равны 150. При этом это процессор Xeon E5-2699 v3 2.3 ГГц с функцией разгона частоты Turbo Boost до 3.6 ГГц. Значение 150 означает, что в данный момент процессор работает на частоте 2.3*1.5 = 3.45 ГГц, то есть почти на пределе.

Компания VMware выпустила отличную книгу об обновлении на последнюю версию платформы виртуализации VMware vSphere 6.5 Upgrade eBook. Эта небольшая книга из 32 страниц рассказывает о планировании и реализации процесса апгрейда на vSphere 6.5 и включает в себя множество таблиц, диаграмм и ссылок на документацию о процессе обновления:

Кстати, книга будет особенна полезна пользователям VMware vSphere 5.5, так как поддержка этой версии прекратится 19 сентября этого года.

В книге процесс апгрейда разбит на три фазы:

• Фаза 1: Pre-upgrade – обозначает фронт работ и требований, которые должны быть выполнены перед началом процедуры апгрейда.
• Фаза 2: Upgrade – описание шагов процесса обновления и иллюстрация их исполнения.
• Фаза 3: Post-Upgrade – валидация результата в соответствии с изначально поставленными целями.

В качестве примера в документе рассматриваются 2 пути обновления:

• vSphere 5.5 на vSphere 6.5
• vSphere 6.0 на vSphere 6.5 Update 1

Для каждого из этих сценариев рассматриваются требования и решения, которые необходимо принимать в процессе апгрейда. Все снабжено понятными картинками.

В общем, документ весьма конкретный и полезный. И главное - там очень много нужных ссылок на блоги, статьи KB, документацию и обучающие лабы. Это все - мегаполезные материалы.

Скачать VMware vSphere 6.5 Upgrade eBook можно по этой ссылке.

Продолжаем информировать вас о выпусках обновлений и заплаток уязвимостей Meltdown и Spectre для виртуальной инфраструктуры VMware vSphere. Напомним наши прошлые посты:

• Как отслеживать производительность хостов VMware ESXi после патчей Meltdown и Spectre с помощью VMware vSphere Operations Manager
• Вышел VMware vCenter Server Appliance 6.5 Update 1f - исправлена уязвимость Meltdown и Spectre (частично)
• Производительность хост-серверов VMware ESXi и других платформ после наката патчей для Meltdown и Spectre
• Для VMware vSphere, Workstation и Fusion пофикшена уязвимость Spectre
• Скрипт для проверки виртуальной инфраструктуры VMware vSphere на подверженность уязвимости Spectre

На днях наш читатель Стас прислал новость о том, что VMware выпустила обновления, закрывающие уязвимость Spectre, на этот раз для ключевых компонентов виртуальной инфраструктуры - серверов vCenter и ESXi. Таким образом, согласно VMware Security Advisory VMSA-2018-0004.3, теперь от уязвимости Spectre защищены все основные продукты VMware трех последних поколений:

Начнем с обновлений для vCenter. Тут были выпущены следующие апдейты:

• VMware vCenter Server 5.5 Update 3h (Release notes, скачать)
• VMware vCenter Server 6.0 Update 3e (Release notes, скачать)
• VMware vCenter Server 6.5 Update 1g (Release notes, скачать)

Для серверов VMware ESXi были выпущены следующие патчи:

• ESXi550-201803001 (ESXi550-201803401-BG и ESXi550-201803402-BG)

• ESXi600-201803001 (ESXi600-201803401-BG и ESXi600-201803402-BG)

• ESXi650-201803001 (ESXi650-201803401-BG и ESXi650-201803402-BG)

Чтобы скачать эти обновления для ESXi, нужно пойти VMware Patch Portal и поискать там обновления для соответствующей версии ESXi.

Кроме наката патчей гипервизора VMware ESXi, вам также придется обновить микрокод серверов. Более подробная информация об этом приведена в KB 52085.

Помните, что порядок наката обновлений безопасности таков:

1. Накатываем обновления vCenter.

2. Обновляем ПО гипервизора на серверах VMware ESXi - накатываем апдейты, заканчивающиеся на 01-BG (позволяет гостевым ОС использовать новый механизм speculative-execution control), одновременно с этим обновляем и микрокод серверов (апдейты, заканчивающиеся на 02-BG), которое применяется в процессе загрузки ESXi. Оба патча накатываются в рамках одного профиля.

На сайте nolabnoparty.com появилась отличная статья о том, как нужно выключать и включать кластер отказоустойчивых хранилищ VMware vSAN таким образом, чтобы не повредить данных, и включить его потом без особых проблем. Инструкция может оказаться полезной тем администраторам, которым необходимо остановить кластер vSAN целиком в целях обслуживания оборудования (серверы, коммутаторы, стойка и т.п.).

Выключение кластера vSAN

1. Для начала вам нужно выключить все виртуальные машины, кроме сервера VMware vCenter (неважно, обычный это VC или vCSA):

2. Мигрируем с помощью vMotion сервер vCenter на хост ESXi01 (тот хост, который вы считаете своим первым хостом в виртуальной инфраструктуре):

Также на первый хост ESXi настоятельно рекомендуется перевести контроллер домена Active Directory.

3. Теперь надо убедиться, что в данный момент в кластере vSAN нет процессов ресинхронизации (Resyncing Components). Для этого надо зайти в соответствующий раздел на вкладке Monitor:

На этом скриншоте видно, что никаких процессов ресинхронизации сейчас не идет. Если они у вас есть, то следует дождаться их завершения.

4. Переводим все хосты VMware ESXi (кроме ESXi01) в режим обслуживания (Maintenance Mode):

В настройках режима обслуживания уберите галку с варианта переместить машины (Move powered-off and suspended virtual machines...), а также выберите вариант не перемещать данные кластера vSAN (No data evacuation):

5. Выключите гостевую ОС виртуальной машины c VMware vCenter. Для этого в контекстном меню vCenter или vCSA выберите пункт Shut Down Guest OS:

После этого у вас, само собой, отпадет соединение с VMware vSphere Web Client:

6. Зайдите на хост ESXi через ESXi Host Client (ссылка https://<ip esxi>/ui) и переведите сервер в режим обслуживания, выбрав из контекстного меню пункт Enter maintenance mode:

Аналогично укажите, что не нужно переносить данные кластера vSAN:

Также это можно сделать следующей командой esxcli в консоли сервера:

# esxcli system maintenanceMode set -e true -m noAction

Включение кластера VMware vSAN

1. Сначала последовательно выводим хосты ESXi из режима обслуживания, начав с первого:

Сделать это также можно командой esxcli:

# esxcli system maintenanceMode set -e false

2. Включаем на хосте ESXi01 сервер vCenter и контроллер домена Active Directory:

3. Идем на вкладку Monitor и там в разделе Health убеждаемся, что все узлы в порядке и кластер vSAN прошел все проверки:

4. Только после этого включаем все виртуальные машины:

Многие из вас иногда хотят получить так называемый "Support Bundle", содержащий лог-файлы, диагностическую информацию и метрики производительности, который помогает решать проблемы в инфраструктуры VMware vSphere. В первую очередь, этот бандл нужен для предоставления службе технической поддержки VMware GSS (Global Support Services) информации о конфигурации виртуальной среды, чтобы она могла решать возникающие у клиентов проблемы в рамках обращений (тикетов) в техподдержку.

Но, кроме этого, данный бандл может пригодиться и вам, как, например, описано в этой статье для анализа причин "розового экрана смерти" и прочих аномалий.

Давайте рассмотрим основные способы получения support bundle как для серверов VMware vCenter (для Windows или виртуального модуля vCenter Server Appliance, vCSA), так и для серверов VMware ESXi. Кстати, надо учитывать, что после экспорта бандла с логами результирующий файл будет размером 30-300 МБ в зависимости от того, что вы туда включите, а также как давно и интенсивно менялась конфигурация виртуальной среды.

Получение Support Bundle для серверов vCenter

Самый простой способ получить саппорт бандл - это выгрузить его с помощью vSphere Web Client. Для этого нужно выбрать сервер vCenter в иерархии инвентори и выбрать пункт Export System Logs (работает как для обычного vCenter, так и для vCSA):

Далее вам предложат, какие разделы нужно включить в сгенерированный бандл логов:

Если вы используете vCSA, то можно получить логи через веб-интерфейс. Для этого надо перейти по адресу:

https://<ip vcsa>/appliance/support-bundle

И далее ввести логин и пароль root от виртуального модуля vCSA.

После этого support bundle будет сгенерирован и загружен через ваш браузер.

Кроме этого, есть способ получить логи vCSA из Linux-системы с помощью утилиты curl. Для этого нужно выполнить следующую команду:

curl -k -u root -o support-bundle.tar.gz -O https://<ip vcsa>/applmgmt/support-bundle

После того, как вы скачаете этот бандл, нужно будет разархивировать его командой:

tar -zxvf support-bundle.tar.gz

Также Support Bundle можно получить с помощью PowerCLI. Для этого нужно соединиться с сервером vCenter:

Connect-VIServer -Server HostnameOrIPAddress

И далее использовать следующую команду:

Get-Log -Bundle -DestinationPath c:\Storage\Location\

Более подробная информация об этом приведена в KB 1027932. Там же, кстати, есть информация и о том, как искать в файлах логов с помощью PowerCLI:

Get-VMHost HostNameOrIP | Get-Log LogName | Select -expand Entries | Select-String SearchTerm | More

Здесь SearchTerm - это строка поиска, а LogName - это один из следующих логов:

• hostd
• vpxa
• messages
• vmkernel
• vmksummary
• vmkwarning

Получение Support Bundle для серверов ESXi

По аналогии с получением бандла для сервера VMware vCenter или vCSA, в vSphere Client можно выбрать сервер VMware ESXi и выбрать для него пункт "Export System Logs":

Также можно сгенерировать Support Bundle через тонкий клиент для управления серверами VMware ESXi - Embedded Host Client (он же - просто веб-интерфейс для управления хостами ESXi). Он доступен при соединении с хостом ESXi по ссылке:

https://<ip esxi>/ui

Для генерации саппорт бандла нужно выбрать пункт "Generate support bundle" из контекстного меню хоста:

Помимо этого, его можно сгенерировать и в консоли ESXi. Для этого используется команда vm-support без параметров (подробнее об этом написано в KB 1010705). Чтобы получить Support Bundle нужно в консоли ESXi выполнить следующую команду:

# vm-support

Надо отметить, что у утилиты есть множество разных параметров:

Аналогично получению бандла для vCenter, через PowerCLI можно получить и бандл для хоста ESXi. Соединяемся с хостом, забираем бандл и складываем его в нужную папку:

Get-VMHost HostNameOrIP | Get-Log -Bundle -DestinationPath c:\Storage\Location\

Для тех, кто хочет узнать, что же находится внутри Support Bundle, мы рекомендуем статью "What's Inside an ESXi vm-support Bundle?".

Прошлой весной компания VMware выпустила релиз своего основного документа по обеспечению безопасности виртуальной среды Security Configuration Guide для vSphere 6.5. Напомним, что ранее подобный документ назывался Hardening Guide и был основным руководством для сотрудников отделов ИТ-безопасности по настройке гипервизора ESXi и виртуальных машин.

На днях VMware выпустила финальную версию документа vSphere 6.5 Update 1 Security Configuration Guide, в котором приведены основные конфигурации для обеспечения безопасности уже Update 1, то есть последнего на данный момент мажорного обновления платформы vSphere.

В документе, помимо описания рекомендуемой настройки и лога изменений, есть следующие полезные колонки:

• Hardening - указывает на то, что это действительно настройка, которой нужно уделить внимание при конфигурации.
• Site Specific Setting - говорит о том, что задать конфигурацию должен сам пользователь, в зависимости от его окружения.
• Audit Setting - указывает, что вам необходимо время от времени проверять эту настройку, чтобы убедиться, что значение по умолчанию не было изменено администратором необоснованно. 
• Desired value - рекомендуемое значение, оно же и является значением по умолчанию, если это не site specific.

Надо отметить, что от релиза к релизу Security Configuration Guide становится все меньше, так как VMware продвигает идеологию, что платформа становится защищеннее из коробки (Secure By Default). На данный момент осталось всего 68 конфигураций для всей виртуальной среды.

При работе с гайдлайнами инженеры VMware каждый раз проверяют актуальность тех или иных настроек, изменяют их или удаляют. Кстати, удаляют они их вот по каким причинам:

• Код vSphere постоянно ревьювится, и некоторые введенные улучшения делают так, что какой-то из описанных гайдлайнов больше не является вектором угрозы. Пример - настройка "disable-intervm-vmci". Сам по себе этот механизм был удален из состава vSphere, а значит ушла и рекомендация по этой настройке.
• Также некоторые гайдлайны ранее были невыполнимыми (например, verify-kernel-modules) - многие пытались писать свои скрипты для верификации каждого модуля VMkernel при загрузке, пока VMware не сделала цифровые подписи VIB-модулей, за счет которых распространяются компоненты vSphere, и механизм Secure Boot.
• Некоторые гайдлайны были написаны для фичей, которые некорректно понимались с точки зрения безопасности. Например, считалось, что настройка VM.disable-hgfs актуальна для vSphere, но оказалось, что она применяется только для Workstation и Fusion и никакой угрозы не несет.

Также поменялись некоторые дефолтные значения для настроек безопасности, которые ранее по умолчанию вообще не имели значений. Например, настройки ниже имеют указанные явно значения TRUE, чтобы не вводить пользователя в заблуждение - типа, а как это работает по умолчанию?

Давайте посмотрим на статистику того, что изменилось в гайдлайнах, и как они теперь выглядят:

Скачать VMware vSphere 6.5 Update 1 Security Configuration Guide можно по этой ссылке.

Если вы зайдете на страницу поддерживаемых устройств ввода-вывода (I/O Devices) в списке VMware Hardware Compatibility List (HCL), то в правой колонке увидите там следующие параметры:

• VID (Vendor ID)
• DID (Device ID)
• SVID (Sub-Vendor ID)
• SSID (Sub-Device ID)

Все эти категории там не просто так - это очень удобный способ проверить совместимость вашего устройства ввода-вывода (сетевая карта, HBA-адаптер, SCSI-контроллер, USB-контроллер, и т.п.) с платформой VMware vSphere / ESXi и другими продуктами.

Например, если вы хотите узнать эти параметры для сетевой карты, то можно вывести список PCI-устройств командой vmkchdev, отфильтровав их с помощью grep по свойству vmnic (сетевой адаптер):

vmkchdev -l | grep vmnic

Далее вы увидите подобный вывод:

[dpasek@esx01:~] vmkchdev -l | grep vmnic

0000:02:00.0 14e4:1657 103c:22be vmkernel vmnic0

0000:02:00.1 14e4:1657 103c:22be vmkernel vmnic1

0000:02:00.2 14e4:1657 103c:22be vmkernel vmnic2

0000:02:00.3 14e4:1657 103c:22be vmkernel vmnic3

0000:05:00.0 14e4:168e 103c:339d vmkernel vmnic4

0000:05:00.1 14e4:168e 103c:339d vmkernel vmnic5

0000:88:00.0 14e4:168e 103c:339d vmkernel vmnic6

0000:88:00.1 14e4:168e 103c:339d vmkernel vmnic7

Здесь вот этот участок - 14e4:1657 103c:22be - для адаптера vmnic0 позволяет разложить его на 4 приведенных выше параметра:

• VID = 14e4
• DID = 1657
• SVID = 103c
• SSID = 22be

После этого вы просто вбиваете эти параметры в VMware HCL для I/O-устройств в правую колонку и смотрите, совместима ли данная сетевая карта с данной версией VMware ESXi.

Если вы отфильтруете вывод по строчке vmhba, то можете получить локальные SCSI-контроллеры или HBA-адаптеры, которые также можно проверить аналогичным образом.

Осенью прошлого года компания VMware выпустила девятую версию своего решения для управления виртуальной инфраструктурой сервис-провайдеров vCloud Director 9.0, а на днях это решение обновилось - вышел vCloud Director 9.1, где появилось достаточно много новых возможностей.

Давайте на них посмотрим:

1. Продолжение перехода на технологию HTML5.

В этом релизе основной акцент был сделан на улучшение средств веб-интерфейса для клиентов. В следующем обновлении подтянут и провайдерский портал управления.

Тут были сделаны следующие улучшения:

• Плагин Client Integration Plugin (CIP) для управления загрузками, в том числе виртуальных модулей OVF/OVA.

• Портал навигации по нескольким площадкам (виртуальным датацентрам):

• Простые воркфлоу создания виртуальной машины и виртуального сервиса vApp:

2. Поддержка отлельной утилиты VM Remote Console (VMRC) для соединения с консолью ВМ.

Раньше это было проблемой, теперь в контекстном меню ВМ можно скачать VMRC и запустить ее отдельно для доступа к консоли ВМ (нет необходимости в использовании vSphere CIP на HTML5-портале).

3. Интеграция с vRealize Orchestrator.

Теперь через Content или Service Library можно внедрять, настраивать и исполнять основные воркфлоу решения vRealize Orchestrator.

4. Поддержка Python SDK и vCD-CLI.

Теперь в vCloud Director появилось еще больше средств автоматизации на базе Python для операций как клиентов, так и сервис-провайдера. Более подробно об этом можно узнать вот тут.

5. Container Service Extension.

vCloud Director теперь обеспечивает управление жизненным циклом контейнеров кластеров K8s через расширение Container Service Extension (CSE). Узлы кластеров K8s обрабатываются точно так же, как и виртуальные машины. Поэтому теперь процесс управления контейнерами и ВМ единый.

Более подробно об этом можно почитать вот тут.

6. Поддержка запросов SR-IOV / NFV.

Это хорошая новость для клиентов, использующих виртуальные машины с критическими требованиями к низкому значению latency. Также появилась поддержка Large Page VM.

7. FIPS Mode for NSX.

Поддержка FIPS появилась еще в NSX 6.3.0, но теперь интеграция появилась в графическом интерфейсе vCloud Director (на уровне edge gateway).

8. Прочие изменения.

Также администраторам vCD следует учитывать следующие изменения:

• Переход на Cassandra 3.x для механизма метрик.
• Прекращение поддержки Oracle Database (9.1 - это последний релиз, который поддерживает БД Oracle).
• Прекращение поддержки vCloud API 1.5 и 5.1 уже в этом релизе.
• Админский интерфейс все еще построен на базе Flex, переход на HTML5 будет произведен позже (пока на базе этой технологии построены только регистрация vRO и мастер создания content library).
• Совсем скоро выйдут патчи для Usage Meter и vCloud Director Extender, которые позволят поддерживать этот релиз vCD. Следите за обновлениями.

Скачать VMware vCloud Director 9.1 можно по этой ссылке.

Некоторое время назад мы писали о том, что серверная облачная инфраструктура VMware vCloud on AWS является полноценным решением, а VMware vCloud для Azure - поделкой (оказалось, что второе - это решение даже не от VMware). Ну а на днях компания VMware официально анонсировала технологическое превью облачной инфраструктуры виртуальных ПК - Horizon on VMware Cloud on AWS.

VMware говорит, что 80% организаций сейчас имеют гибридную стратегию в развитии инфраструктуры (то есть смесь онпремизной и облачной инфраструктур), а значит Horizon on VMware Cloud on AWS будет хорошим дополнением уже существующих инструментов VMware и Amazon для создания гибридной виртуальной среды.

Давайте посмотрим на основные преимущества данного решения:

1. Поддержка архитектуры Cloud Pod Architecture (CPA).

За счет CPA решение Horizon on VMware Cloud on AWS позволит создать географически распределенную инфраструктуру виртуальных десктопов, представляющую собой комбинацию из онпремизных площадок и облачных сайтов. При этом можно будет использовать преимущества почасового биллинга AWS.

2. Простое расширение инфраструктуры Horizon.

Если у вас уже есть онпремизная инсталляция Horizon, то можно легко добавить облачный сайт (сайты) и подключить их к единым средствам управления инфраструктурой Horizon.

3. Application locality.

Теперь отдельные приложения географически распределенных пользователей можно будет переместить в облако, чтобы достичь минимальных задержек (latency) при работе с бизнес-критичными сервисами, которые будут доставляться из ближайшего датацентра.

4. Disaster Recovery площадка.

Теперь с помощью облачной площадки Horizon в инфраструктуре AWS можно создать резервный сайт с виртуальными ПК, который возьмет на себя нагрузку в случае массового сбоя или катастрофы. Для бизнесов, где работа пользователей не должна останавливаться ни на секунду - это, зачастую, единственное решение без больших капитальных затрат.

Является ли Horizon on VMware Cloud on AWS решением Desktop-as-a-Service (DaaS)?

В общем смысле не является, так как пользователям придется самостоятельно развертывать компоненты решения VMware Horizon - например, Connection Server, Security Server и прочие составляющие решения. Соответственно, и поддерживать их (обновлять, решать проблемы) придется самостоятельно.

На рисунке ниже как раз показаны 3 модели управления виртуальными десктопами Horizon для тех фичей, которые находятся под контролем пользователя (Horizon on VMware Cloud on AWS - это второе):

На данный момент решение Horizon on VMware Cloud on AWS еще недоступно для пользователей, но в ближайшее время его доступность будет анонсирована, и мы обновим пост.

Год назад мы писали об обновлении утилиты RVTools 3.9.2, в котором появилась поддержка VMware vSphere 6.5. В конце февраля вышло обновление этого средства - RVTools 3.10, где появилась масса новых возможностей. Напомним, что RVTools - это утилита, которая помогает администраторам при выполнении рутинных операций с виртуальной инфраструктурой в различных аспектах.

Давайте посмотрим, что нового в RVTools 3.10:

• RVTools теперь сделана на Visual Studio 2017.
• Фреймворк .Net обновлен до версии 4.6.1
• Новые колонки на вкладке vInfo: настройка latency-sensitivity для ВМ, параметры Change Block Tracking (CBT) и значение disk.EnableUUID.
• Новые колонки на вкладке vDisk: SCSI label, unit number и sharedBus.
• Новые колонки на вкладке vHost: назначенные лицензии, ATS heartbeat, значения ATS locking (0 = disabled, 1 = enabled), короткое имя для Host Power Policy, текущая политика CPU Power Management, поддержка CPU power hardware.
• При экспорте в xlsx добавляется версия RVTools и дата/время в выходной файл.
• Все колонки экспортированного xlsx имеют фильтр.
• Новые строчки в csv-файле теперь заменены на пробелы.
• Если утилита работает из командной строки и возникают проблемы с логином - больше не появляется окошко ввода кредов, вместо этого утилита завершается с кодом -1.
• Добавлен пример сценария PowerShell, который позволяет объединять экспортированные xlsx-файлы.
• Добавлен пример сценария PowerShell, который позволяет экспортировать несколько серверов vCenter в один xlsx.
• Вкладка vDatastore: для датасторов NFS колонка с адресом заполняется полным путем к папке вместе с хостом.
• Новые колонки вкладки vDatastore: имя Datastore Cluster, общая емкость кластера и свободные ресурсы хранилищ.
• Верхняя граница хэлсчека (health check) виртуальных машин увеличена до 9999.
• Вкладка vHealth: новая колонка "message type", которую можно использовать как фильтр в Excel.
• Вкладка vHealth: файлы hbrdisk.RDID теперь не определяются как зомби-файлы.
• Вкладка vHealth: при высокой заполненности хранилища показывается также свободная емкость в мегабайтах.
• Все вкладки: обновление и автообновление учитывают порядок пользовательской сортировки.
• Параметры командной строки export2xls обновились на export2xlsx (старые также работают).
• Пакет Log4net обновлен до версии 2.0.8, Waffle.AD - до версии 1.8.3, NPOI - до версии 2.3.0.
• Ошибка соединения для TLSv1.0 и TLSv1.1 отключена и только для TLSv1.2 включена за счет использования .Net Framework 4.6.1.
• Дефолтная директория теперь поменялась на C:\Program Files (x86)\RobWare\RVTools и не содержит номера версии.

Скачать RVTools 3.9.2 для VMware vSphere 6.5 можно по этой ссылке. Документация доступна тут.

Многие из вас в производственной среде используют виртуальный модуль VMware vCenter Server Appliance (vCSA), представляющий собой готовую виртуальную машину с сервером управления виртуальной инфраструктурой.

Но не все знают, что есть простой способ обновить это средство (о нем мы упоминали вот тут). Для этого идем по адресу:

https://<IP-адрес vCSA>:5480

Где видим страницу логина в интерфейс Appliance Management:

Далее видим текущую версию vCSA в разделе Version и состояние сервера (Health Status):

В левой части выбираем раздел Update и далее пункт "Check Repository" (помните, что для этого на сервере vCSA должен быть интернет):

Далее вы увидите информацию о доступных обновлениях:

Далее выбираем пункт Install updates > Install all updates, чтобы запустить процесс обновления:

После этого сервер VMware vCSA будет обновлен, и можно будет его перезагрузить. Но у вас могут возникнуть проблемы с отображением health-статуса vCSA. Чтобы поправить это, нужно перезапустить все службы vCSA:

service-control –stop –all

service-control –start –all

После обновления убедитесь, что номер версии обновился в консоли Appliance Management (выделено жирным - 6.5.0.14100). Также полезно будет убедиться, что обновился и номер билда (build number) в консоли vSphere Web Client:

На днях компания VMware выпустила мажорное обновление своего основного интерфейса для управления виртуальной инфраструктурой с помощью скриптов - PowerCLI 10.0.0. О предварительных возможностях этого релиза мы уже писали вот тут.

Давайте посмотрим, что нового появилось в PowerCLI 10:

1. Настоящая (почти) мульти-платформенность.

Теперь PowerCLI доступен для систем Mac OS и Linux. Единственное требование - у вас должен быть развернут PowerShell Core 6.0.

Установка очень проста:

Install-Module -Name VMware.PowerCLI -Scope CurrentUser

На данный момент для Мака и Linux поддерживаются только следующие модули:

• VMware.VimAutomation.Common
• VMware.VimAutomation.Sdk
• VMware.VimAutomation.Core
• VMware.VimAutomation.Cis.Core
• VMware.VimAutomation.Vds
• VMware.VimAutomation.Storage
• VMware.VimAutomation.StorageUtility

Со временем эта поддержка будет расширена.

2. Изменения обработки сертификатов.

Теперь при соединении с сервером vCenter или ESXi через командлет Connect-VIServer с невалидным сертификатом (например, самоподписанным) PowerCLI выдаст уже не предупреждение, как в прошлых релизах, а ошибку. Чтобы изменить это поведение, вам потребуется использовать командлет Set-PowerCLIConfiguration:

Set-PowerCLIConfiguration -InvalidCertificateAction Ignore

Он принимает следующие значения:

• Fail
• Warn
• Ignore
• Prompt
• Unset

3. Устаревшие и исключенные командлеты.

Теперь в PowerCLI 10 пять командлетов модуля VMware.VimAutomation.Core были исключены:

• Get-VMGuestNetworkInterface
• Set-VMGuestNetworkInterface
• Get-VMGuestRoute
• New-VMGuestRoute
• Remove-VMGuestRoute

Они были заменены командлетом Invoke-VMScript. Вот пример использования этого командлета:

$ipAddr = "192.168.10.25"

$subMask = "255.255.255.0"

$gw = "192.168.10.1"

$netsh = "c:\windows\system32\netsh.exe interface ip set address ""Local Area Connection"" static $ipAddr $subMask $gw 1"

Invoke-VMScript -VM $VM -GuestCredential $creds -ScriptType bat -ScriptText $netsh

Также теперь не актуально свойство "Client", вместо этого предлагается использовать объект ServiceInstance.

Помимо этого в PowerCLI 10 было пофикшено несколько важных багов на базе фидбэка от сообщества разработчиков. Полный список изменений доступен в VMware PowerCLI Change Log. Более детальная информация об обновлении приведена в документах VMware PowerCLI 10.0.0 User’s Guide и VMware PowerCLI 10.0.0 Cmdlet Reference.

Напомним, что апдейт модулей PowerCLI теперь очень простой:

Update-Module VMware.PowerCLI

В блоге VCDX133 появился интересный и полезный список основных ключевых моментов в различных аспектах проектирования инфраструктуры VMware vSphere. Он будет полезен архитекторам и системным инженерам, которые планируют внедрение большой инфраструктуры виртуализации и хотят учесть все основные функции платформы, а также избежать проблем в будущем при масштабировании архитектуры.

Кстати, этот список можно использовать как высокоуровневый опросник перед началом фазы проектирования, чтобы выяснить ключевые потребности заказчика и далее превратить это все в техническое задание на базе полученных требований.

Приведем данный список ниже:

Бизнес-задачи и проблемы

• Какие основные задачи стоят при внедрении?
• Какие проблемы заказчика предполагается решить?

Варианты использования платформы

• Какие варианты использования инфраструктуры VMware предполагает сам заказчик?

Требования/Ограничения/Допущения

• Каковы основные требования, какие ограничения учесть, о какие допущениях и неочевидных моментах нужно проинформировать заказчика.

Риски

• Какие риски внедрения решения (например, простои при миграции) и каковы способы их минимизации? Есть ли специфические задачи, тесты и процедуры, которым нужно следовать в таком случае.

A. Управление виртуальным датацентром

Решения в области логической архитектуры

• Общий объем объединяемых в пул ресурсов (вычислительные мощности, сети и хранилища).
• Какие сервисы будет предоставлять инфраструктура.
• Необходимый уровень доступности для систем управления платформой виртуализации.
• Интеграция со сторонними решениями: IT Service Management, Infrastructure Management systems, Enterprise services (DNS, LDAP, NTP, PKI, Syslog, SNMP Traps), сбор данных агентами систем различных вендоров.
• Необходимы ли расширенные операции, не предоставляемые из коробки?
• Механизмы защиты рабочих нагрузок гипервизора (vMotion, HA и другое).
• Механизмы балансировки нагрузки на гипервизор (DRS).

Решения в области физической инфраструктуры

• Гипервизор: версии ESXi.
• Нужен ли отдельный кластер управления?
• Серверы vCenter в режиме Standalone или Linked-Mode?
• Версия vCenter Server и тип установки (под Windows или в виде виртуального модуля).
• База данных vCenter Server - встроенная или внешняя?
• Механизмы защиты vCenter Server.
• Дизайн инфраструктуры Platform Services Controller (PSC). Будет ли один домен SSO?
• Нужна ли инфраструктура шифрования (PKI)? Какие требования к SSL?
• Какие компоненты vSphere будут использоваться?
• Нужна ли функциональность Host profiles?
• Вопросы управления обновлениями ESXi, версиями VM Hardware и версиями VMware Tools.
• Интеграция с антивирусами и решениями vShield/NSX.
• Нужен ли пакет vRealize Suite для расширенных операций и управления частным облаком?
• Нужен ли продукт vRealize Orchestrator для управления рабочими процессами операций? Нужен ли PowerCLI для сценариев автоматизации?
• Нужно ли интегрировать виртуальную инфраструктуру с другими средствами управления (Enterprise Management)?
• Automated vendor support mechanisms? How will VMware Skyline be used?
• Нужно ли организовывать интеграцию с системами Service Desk или Change Management?
• Каковы требования к механизмам vSphere HA и vSphere DRS?
• Если будет использоваться HCI (Hyper-Converged Infrastructure), то какие решения будут использоваться для управления, и как это будет совместимо с vSphere?
• Вопросы интеграции со службами DNS и NTP.
• Ролевая модель доступа (Role Based Access Control) и интеграция с LDAP.
• Какой интерфейс vCenter Server будет использоваться для администрирования и ежедневных операций (vSphere Client / Web Client).
• Модель лицензирования vCenter.
• Вопросы лицензирования стороннего ПО в виртуальных машинах (на хост, на виртуальный процессор vCPU и т.п.).

B. Вычислительные ресурсы

Решения в области логической архитектуры

• Традиционная архитектура, технология Server-Side Flash Cache Acceleration, конвергентная или гиперконвергентная инфраструктура (связано с хранилищами).
• Минимальное число хостов в кластере.
• Тип сайзинга хостов в кластерах: вертикальный (Scale Up) или горизонтальный (Scale Out)?
• Гомогенные или гетерогенные узлы?
• Число физических процессоров на хост.
• Резервирование уровня хостов в рамках доменов отказа (Failure Domains).
• Необходимая емкость по CPU.
• Необходимая емкость по RAM.

Решения в области физической инфраструктуры

• Вендор серверов.
• Тип процессоров серверов.
• Фичи CPU: VT-x, Hyper-threading, Turbo Boost, включена ли NUMA?
• Конфигурация серверного оборудования.
• Число сокетов CPU на узел.
• Модель процессора, частота и число ядер.
• Нужен ли GPU?
• Физическое размещение хостов.
• Тип размещения: Single Rack или Multi-Rack с шарингом ресурсов?
• Требования к доступности кластеров.
• Нужно ли обеспечить согласованность доступности хостов с доступностью хранилищ.
• Будущее расширение вычислительных ресурсов.

C. Хранилища

Решения в области логической архитектуры

• Традиционные хранилища, технология Server-Side Flash Cache Acceleration, конвергентная или гиперконвергентная инфраструктура (связано с вычислительными ресурсами).
• Блочные или IP-хранилища?
• Средства автоматизированного управления хранилищами.
• Допустимо ли использование RDM?
• Метод загрузки хоста ESXi - с локального диска (DAS), LUN или PXE.
• Толстые или тонкие диски для виртуальных машин?
• Необходимые ресурсы хранения.
• Репликация хранилищ.

Решения в области физической инфраструктуры

• Вендор систем хранения.
• Расчет используемой емкости хранилищ с учетом пулов хранения, затрат на репликацию и бэкап. Каковы численные требования к емкости и производительности хранилищ?
• Число дисков SSD и HDD в каждой из систем хранения.
• Использование дедупликации, сжатия данных, технологии Erasure Coding и Storage APIs. Нужно ли держать процент хранилищ всегда свободным?
• Какой активный Working Set (рабочий объем данных) необходим?
• Трешхолды для автоматизированного ярусного хранения данных (разнесения по ярусам).
• Использование шифрованных дисков и сервер KMS.
• Сеть хранения данных и ее организация.
• Механизм загрузки хстов ESXi.
• Технологии VM DirectPath I/O и SR-IOV.
• Число датасторов на кластер.
• Будут ли использоваться DRS и SIOC?
• Будут ли применяться VMDK shares на уровне виртуальных дисков?
• Будет ли использоваться технология VAAI?
• Использование VASA и профилей хранилищ (storage profiles).
• Будут ли использоваться синхронные или асинхронные DR-решения?
• Планирование расширения хранилищ.

D. Сетевая инфраструктура

Решения в области логической архитектуры

• Технология Legacy 3-Tier Switch, Collapsed Core или Clos-type Leaf/Spine?
• Кластеризованные физические или отдельные коммутаторы EoR/ToR?
• Растянутые логические VLAN или на уровне стойки?
• Трафик будет функционально разделяться на уровне виртуальных коммутаторов или отдельных VLAN?
• Будут ли использоваться Jumbo Frames?
• Требования Quality of Service (QoS).
• Балансировка нагрузки в сети (Load Balancing).
• Версия протокола IP.
• Соединения Inter-Data Center, включая RTT.
• Требуемая емкость и пропускная способность сети.
• Какие ВМ разрешены - с одним или несколькими vNIC?

Решения в области физической инфраструктуры

• Выбор вендора решения Clos-type Leaf/Spine для больших инсталляций. Либо использование архитектуры Core/Agg/Dist/Access switch.
• Фабрика коммутаторов типа Blocking или non-blocking?
• Если blocking, какое уровень переподписки (over-subscription ratio)?
• Каков путь трафика типа North/South и East/West?
• Где находятся шлюзы Layer 3 для каждой из подсетей?
• Требования к динамической маршрутизации (Dynamic Routing)?
• Нужен ли мультикаст?
• Будут ли использоваться End-to-End Jumbo Frames?
• Интерфейсы хостов ESXi: 1GbE и/или 10GbE? Сколько их будет на каждом хосте?
• Интерфейсы на хостах - LAG или unbonded?
• Слой управления для KVM и iLO/iDRAC/IPMI.
• Производительность физической сети LAN.
• Матрица связности хостов по сети передачи данных.
• Нужно ли Metro Ethernet между датацентрами?
• Использование QoS, Network Control и vSphere Network I/O Control.
• Будет ли использоваться Edge QoS или End-to-End QoS?
• Система vSphere NIOC и User-Defined Network Resource Pools.
• vMotion через несколько физических адаптеров одновременно.
• Использование VLAN Pruning.
• Использование Spanning Tree.
• Технологии VM DirectPath I/O и SR-IOV.
• Будет ли включена TCP Offload?
• Будут ли использованы стандартные vSwitch (VSS) или распределенные Distributed Switch (VDS).
• Разные vSwitches на кластер или общие?
• Использование технологий Teaming и Load Balancing.
• Порты VMkernel.
• Группы портов для виртуальных машин.
• Нужно ли решение VMware NSX-v?
• Планирование расширения сети по числу портов.

E. Защита данных

Решения в области логической архитектуры

• Частота резервного копирования большинства ВМ.
• Настройки бэкапов уровня Application Consistent и Database Consistent.
• Требования ко времени восстановления.
• Физическое разделение актуальных данных и бэкапов.
• Необходимые решения для бэкапа.
• Требования к производительности процесса резервного копирования.

Решения в области физической инфраструктуры

• Будет ли использоваться решение на базе VADP (например, Veeam Backup and Replication).
• Критерии для выбора решения по бэкапу.
• Требования к механизму резервного копирования и восстановления.
• Снапшоты уровня ВМ.
• Нужна ли асинхронная репликация снапшотов ВМ в удаленный кластер или публичное облако.
• Частота резервного копирования.
• Политика хранения резервных копий.
• Выделяемые емкости под хранение бэкапов и производительность процесса.
• Быстрое восстановление средств управления кластером на хосте ESXi.
• Рост объема хранения бэкапов и ресурсы для его обслуживания.

F. Виртуальные машины

Решения в области логической архитектуры

• Стандартные размеры ВМ (по уровням настроек - виртуальный диск, память, сеть, опции).
• Какие механизмы для CPU и RAM будут использоваться (например, Memory Ballooning)?
• Размещение файлов ВМ.
• Стандартизация гостевых ОС.
• Выбор между 64 и 32-битными системами.
• Использование шаблонов.

Решения в области физической инфраструктуры

• Стандартные размеры виртуальных машин и ресурсы для них.
• Планирование виртуальных сервисов vApps и пулов ресурсов.
• Размещение виртуальных машин на общих хранилищах.
• Стандартные настройки виртуальных дисков машин.
• Будут ли использоваться тонкие диски?
• Допустимы ли аппаратные снапшоты на уровне хранилищ или снапшоты vSphere?
• Будет ли включен Changed Block Tracking (CBT)?
• 32/64-битные версии гостевых систем.
• Адаптеры vSCSI.
• Виртуальные сетевые адаптеры vNIC.
• Версия виртуального аппаратного обеспечения (VM Hardware).
• Будут ли установлены VMware Tools и какой версии?
• Прочие стандартные настройки ВМ.
• Какие шаблоны ВМ будут использоваться?
• Настройки репозиториев шаблонов ВМ.
• Предложения по работе виртуальных машин с приложениями уровней Mission-Critical/Business-Critical.

G. Безопасность

Решения в области логической архитектуры

• Зоны и трасты.
• Нужна ли Defence-in-Depth?
• Будет ли решение мультивендоным?
• Физическое разделение сегментов сети.
• Стандарты, которые нужно соблюсти.
• Требования к защите инфраструктуры виртуализации и виртуальным машинам.
• Необходимый объем защиты сетевой инфраструктуры.

Решения в области физической инфраструктуры

• Физическое и виртуальное зонирование сетей.
• Сетевые экраны уровня приложений и уровня сетей.
• Системы IDS и IPS.
• SSL и сети IP-Sec VPN.
• Комплексная защита от сетевых угроз (Unified Threat Management)?
• Выбор вендора в сфере решений ИТ-безопасности.
• Нужно ли решение VMware NSX-v/T?
• Защита конечных устройств и выбор антивирусов.
• Производительность решений для сеNetwork Security Performance?
• Системы Security Information & Event Management (SIEM).
• Будет ли использоваться инфраструктура шифрования (Public Key Infrastructure, PKI)?
• Будет ли использоваться технология vSphere Cluster security? STIG?
• Технологии защиты хоста ESXi.
• Технологии защиты сетевого взаимодействия.
• Технологии защиты хранилищ.
• Технологии защиты резервных копий.
• Технологии защиты виртуальных машин.
• Будет ли будущее расширение инфраструктуры и какие дополнительные средства могут понадобиться?

H. Непрерывность бизнеса / восстановление после аварий (BC/DR)

Решения в области логической архитектуры

• Какие механизмы защиты будут использоваться?
• Ручные или автоматические сценарии восстановления? Регламент ручных действий.
• Политики RPO, RTO, WRT и MTD для приложений различной степени критичности (Mission-Critical, Business-Critical и Non-Critical).
• Как использовать глобальные балансировщики (Global Site Load Balancers).
• Параметры DNS TTL для клиентов.

Решения в области физической инфраструктуры

• Нужны ли решения по катастрофоустойчивости?
• Нужен ли продукт VMware SRM или Veeam Availability Suite?
• Нужно ли решение GSLB?
• Использование внутренних и внешних DNS-серверов.
• Уровень катастрофоустойчивости - нужна ли синхронная репликация на географически удаленные кластеры?
• Репликация на несколько площадок, репликация баз данных и Message Queue clustering/replication.

На днях компания VMware обновила пару своих утилит на сайте проекта VMware Labs, которые могут оказаться вам полезными.

Во-первых, решение VMware vCenter VM Mobility, о котором мы писали вот тут, обновилось до версии 1.5. Напомним, что это средство позволяет через интерфейс командной строки (CLI) перенести машину между серверами vCenter, которые связаны в режиме Linked Mode или размещены независимо друг от друга. Надо отметить, что в режиме Linked Mode и так можно перемещать виртуальную машину между датацентрами, поэтому полезна утилита именно для несоединенных vCenter.

Давайте посмотрим, что нового появилось в версиях vCenter VM Mobility 1.2-1.5:

• Добавлена возможность выбрать папку ВМ в месте назначения, а также storage pod (для механизма storage drs).
• Поддержка соединения на сайте назначения, чтобы не прервалась задача перемещения ВМ.
• Пофикшен баг, когда при миграции нескольких виртуальных машин с одной виртуальной сетью назначения мигрировалась только одна.
• Поддержка передачи пароля в качестве аргумента для автоматизации задач клонирования и перемещения ВМ между датацентрами.

Скачать VMware vCenter VM Mobility 1.5 можно по этой ссылке. Напомним, что утилитой лучше не пользоваться для миграции связанных клонов ВМ (linked clones).

Вторая обновившаяся утилита - это DRS Lens, про которую мы рассказывали вот тут. Она позволяет администраторам виртуальных инфраструктур получить больше информации о работе механизма балансировки нагрузки на хост-серверы VMware vSphere DRS.

На днях вышла версия DRS Lens версии 1.2. Приведем ниже новые возможности утилиты версий 1.1-1.2:

• Добавлена поддержка архивирования старых данных мониторинга.
• Добавлена страница общей информации для vCenter, чтобы получать информацию о кластерах и архивах.
• Улучшения пользовательского интерфейса.
• Добавлена совместимость процесса логина с vCenter 5.5.
• Пофикшены некоторые серьезные баги.

Скачать DRS Lens 1.2 можно по этой ссылке.

Последние версии платформ виртуализации основных вендоров - VMware, Microsoft и OpenStack - фактически сравнялись по своим характеристиками, и сегодня клиент чаще всего выбирает решение не по максимальным характеристикам, а по цене, удобству управления инфраструктурой и различным рискам, в том числе, связанным с поставкой софта в Россию. Мы сделали принципиальный шаг вперёд, чтобы дать клиентам более широкий выбор вендоров при старте нового проекта или просчете рисков продления существующих лицензий. В июле 2017 года был представлен 5nine Manager Datacenter...

Некоторые из вас знают, что VMware и другие производители в последнее время борются с уязвимостями Meltdown и Spectre в процессорах Intel, выпуская и отзывая патчи для различных компонентов ИТ-инфраструктуры. Мы писали об этом не так давно в следующих заметках:

• Вышел VMware vCenter Server Appliance 6.5 Update 1f - исправлена уязвимость Meltdown и Spectre (частично)
• Производительность хост-серверов VMware ESXi и других платформ после наката патчей для Meltdown и Spectre
• Для VMware vSphere, Workstation и Fusion пофикшена уязвимость Spectre
• Скрипт для проверки виртуальной инфраструктуры VMware vSphere на подверженность уязвимости Spectre

Как вы знаете, из за патчей для данных уязвимостей на серверах ESXi иногда существенно проседает производительность (также подробно об этом написано тут), что необходимо отслеживать для того, чтобы не оказаться в ситуации неожиданного недостатка ресурсов в кластере после его апгрейда.

Напомним основные статьи VMware KB, касающиеся исправлений данных уязвимостей:

• https://kb.vmware.com/s/article/52245 
• https://kb.vmware.com/s/article/52337

Еще в декабре 2017 некоторые из уязвимостей были пофикшены, но с тех пор у многих пользователей VMware vSphere появились проблемы с производительностью.

Один из сотрудников VMware опубликовал полезную заметку о том, как с помощью решения vRealize Operations Manager можно отслеживать производительность хостов ESXi в кластерах VMware HA/DRS и на основе этого принимать решения о патчинге тех или иных производственных сред и кластеров.

1. Трекинг версий BIOS и хостов ESXi для каждого сервера с использованием дэшборда Host Configuration.

Этот инструмент нужен, чтобы не забыть пропатчить хост-серверы ESXi:

2. Просмотр информации об использовании виртуальными машинами системных ресурсов.

3. Также надо смотреть на изменения CPU и Memory Usage на уровне кластера с помощью дэшборда Capacity Overview.

4. С помощью дэшборда Heavy Hitters можно выяснить, какие из ВМ сейчас действительно сильно грузят оборудование.

5. Также если у вас есть 2 кластера, которые выполняют одну функцию в плане рабочих нагрузок - вы можете переместить нагрузки с помощью функции Workload Balance.

6. Возможность перераспределения емкости кластера можно узнать с помощью дэшборда Capacity Reclaimable.

7. Использование кастомных дэшбордов для Meltdown и Spectre.

Это возможно, если у вас издание vRealize Operations Advanced или более высокое, так как оно позволяет создавать кастомные дэшборды. Сотрудники VMware, Iwan Rahabok, Mark Scott и Luciano Gomes, разработали специальные дэшборды, которые сфокусированы на конфигурации, производительности, емкости и утилизации виртуальной инфраструктуры. Скачать все три дэшборда вместе с инструкциями можно по этой ссылке.

Эти следующие три дэшборда:

• Performance Monitoring
• Planning Guest OS Patching
• Tracking vSphere Patching

7.1 Дэшборд Performance Monitoring.

Этот дэшборд позволяет отслеживать производительность CPU и памяти на всех уровнях - ВМ, хост, кластер. Соответственно, сравнивая исторические периоды, вы сможете сделать вывод о падении производительности.

7.2 Дэшборд Planning Guest OS Patching.

Этот дэшборд нужен для того, чтобы спланировать патчинг гостевых ОС. Сначала находятся все простаивающее ВМ, апдейт которых не сильно повлияет на функционирование виртуальной инфраструктуры, а в последнюю очередь идет обновление так называемых "heavy hitters" - рабочих лошадок вашего предприятия, апдейт которых должен проводиться с особой осторожностью.

7.3 Дэшборд Tracking vSphere Patching.

Этот дэшборд помогает планировать апгрейд различных версий VMware ESXi, а также версий виртуального аппаратного обеспечения (Virtual Hardware) виртуальных машин. Он решает 2 практические задачи:

• Отслеживание номеров билдов VMware ESXi и прогресса патчинга серверов.
• Отслеживание Virtual Hardware различных ВМ.

Совокупность всех этих инструментов позволит вам не только грамотно спланировать весь процесс патчинга гостевых ОС и хост-серверов, но и измерить влияние на производительность результата апгрейда хостов ESXi и прочих компонентов виртуальной инфраструктуры.

Некоторые из вас знают, что VMware больше не является сервис-провайдером публичных облаков со своей собственной железной инфраструктурой (этот бизнес был продан французской OVH), но у нее есть две облачных инициативы с партнерами лидирующих облачных решений - VMware vCloud on AWS и VMware vCloud on Azure.

Блогер Ryan Kelly написал интересный пост, в котором он сравнивает оба решения - и выводы явно не в пользу vCloud on Azure. Давайте посмотрим:

1. Управление.

VMware vCloud on AWS - это полноценный vSphere Client, к которому вы привыкли в вашем датацентре. Все те же средства автоматизации операций и скрипты PowerCLI работают в облаке без необходимости их доработки.

VMware on Azure имеет собственную консоль управления, а также свой API, что потребует адаптации ваших решений и сценариев PowerCLI. Таким образом, вам нужно будет поддерживать 2 набора рабочих процессов, при этом персонал должен иметь два набора умений для этого, что обходится дороже и неудобно.

2. Миграция рабочих нагрузок в облако и обратно.

vMotion между онпремизной инфраструктурой и облаком происходит без изменения IP-адреса, используется растянутый кластер под контролем решения NSX. Серверы управления vCenter объединены режимом Linked Mode.

В облаке vCloud on Azure миграция vMotion не поддерживается, нужно копированием переносить виртуальные машины, а IP-адрес в любом случае поменяется при перенесении ВМ в облако (кстати, обратного пути миграции нет):

3. Стоимость решения.

Для VMware vCloud on AWS используется модель Host-based pricing, то есть покупаете нужное количество хостов, а все остальные лицензии (включая хранилища кластера vSAN) уже включены в цену. На хосте вы можете создать сколько угодно и какие угодно виртуальные машины. Подробности в прайс-листе.

Для vCloud on Azure лицензирование идет по инстансам виртуальных машин, а за хранилище надо платить отдельно. Вот прайс-лист.

4. Катастрофоустойчивость на уровне площадок.

vCloud on AWS обеспечивает полную связность площадок, прозрачную для пользователей. С помощью технологии Host based replication образ ВМ реплицируется между облаком и онпремизным сайтом, шарится общий IP-адрес. В случае сбоя на одной из площадок, для восстановления работоспособности сервиса нужно будет только нажать на кнопку.

При восстановлении машины в облако Azure нужно будет ее как-то скопировать туда, зарегистрировать и сконфигурировать (это будет новая ВМ, у которой другое виртуальное аппаратное обеспечение и драйверы). Также могут возникнуть сложности с бэкапом восстановлением залоченных файлов, которые не берет система резервного копирования на уровне файлов.

Из описанных пунктов может следовать еще несколько неудобств, но даже перечисленных уже достаточно, чтобы не покупать VMware vCloud on Azure. Непонятно пока, кому такая гибридная инфраструктура подойдет - разве что совсем маленьким компаниям, не собирающимся расти.

Как вы знаете, некоторое время назад были обнаружены серьезные уязвимости в процессорах компании Intel, условно называемые Meltdown и Spectre. Вскоре после их обнаружения многие производители выпустили обновления микрокода оборудования, многие из которых оказались неготовыми к эксплуатации в производственной среде (происходили неожиданные перезагрузки, падала производительность и появлялись другие эффекты).

VMware тогда тоже выпустила обновления для VMware ESXi и vCenter, закрывающие потенциальные угрозы, но через несколько дней была вынуждена отозвать их обратно ввиду тех же самых эффектов.

Теперь, наконец, вышло обновление VMware vCenter Server Appliance 6.5 Update 1f, содержащее исправления для серверов управления на базе виртуального модуля с Photon OS на борту, исправляющее следующие дыры в безопасности:

• Bounds-check bypass (уязвимость Spectre-1, CVE-2017-5753)
• Rogue data cache load issues (уязвимость Meltdown, CVE-2017-5754)

Надо отметить, что уязвимость Spectre-2 (Branch target injection - CVE-2017-5715) по-прежнему не исправлена в данном релизе.

Патч VMware vCenter 6.5 Update 1f можно загрузить с VMware Patch Portal (VMware-VCSA-all-6.5.0-7801515.iso):

В процессе апдейта будут обновлены следующие пакеты:

• linux 4.4.110-2
• libgcrypt 1.7.6-3
• c-ares 1.12.0-2
• ncurses 6.0-8
• libtasn1 4.12-1
• wget 1.18-3
• procmail 3.22-4
• rsync 3.1.2-4
• apr 1.5.2-7

Также помимо VMware vCSA патч доступен и для решения vSphere Integrated Containers 1.3.1. На данный момент матрица выхода апдейтов фикса Meltdown и Spectre выглядит весьма удручающе (более подробно - вот тут):

Пропатчить VMware vCSA можно также через GUI из дефолтного репозитория обновлений продукта.

Ну и мы все еще ждем обновления для хостов VMware ESXi, которые до сих пор в статусе "Patch Pending".

Компания VMware выпустила обновленную версию документа "Network Ports in VMware Horizon Cloud Service", в котором приведены диаграммы портов и соединений сервиса VMware Horizon Cloud. Данные диаграммы нужны для корректной настройки фаерволов, а также отслеживания сетевых коммуникаций между компонентами (стрелками в документе показаны их направления).

В документе приведены 3 архитектуры VMware Horizon Cloud, которые рассматриваются в различных его разделах:

• Horizon Cloud with Hosted Infrastructure with external connectivity
• Horizon Cloud with Hosted Infrastructure with internal connectivity
• Horizon Cloud on Microsoft Azure

Диаграммы работают в интерактивном режиме, то есть вы можете выбрать интересующий вас компонент (например, протокол Horizon) и "провалиться" глубже для подробного изучения его соединений. Для этого нужно PDF скачать, а не просматривать его в браузере.

Помимо диаграмм присутствуют также таблицы с описанием источника и назначения соединения, вида протокола, номерами портов и описания - для чего эта коммуникация нужна.

Также в документе рассматриваются такие продукты, как VMware Identity Manager, VMware App Volumes, VMware ThinApp и другие решения, использующиеся в инфраструктуре Horizon. Соответственно, его можно использовать и как референс при планировании и развертывании онпремизной или облачной инфраструктуры Horizon Cloud.

Скачать документ Network Ports in VMware Horizon Cloud Service можно по этой ссылке. Также посмотрите наш пост "Диаграмма портов и соединений VMware Horizon 7 - обновления".

В конце января компания VMware выпустила существенное обновление своего клиента на базе технологии HTML5 для управления виртуальной инфраструктурой VMware vSphere. На днях вышел еще один апдейт - VMware vSphere Client 3.34, в котором также появилось немало всего нового.

Давайте посмотрим на последние фичи vSphere Client версии 3.34:

• Визуализация топологии виртуальных коммутаторов (см. на скриншоте выше).
• Возможность пакетного создания виртуальных адаптеров VMkernel на распределенной группе портов vDS.
• Действие по привязке лицензи (Assign License) на вкладке License Assets.
• Сообщение об устаревающих лицензиях vCenter.
• Изменение настроек виртуальных сервисов vApp.
• Включение и изменение настроек vApp для его виртуальных машин.
• Перемещение сетей (networks) и распределенных коммутаторов в новые папки типа network в инвентори.
• Пакетная привязка физических сетевых адаптеров к аплинкам в мастере "Add and Manage Hosts" на распределенном коммутаторе.
• Пакетная привязка портов VMkernel к порт-группам "Add and Manage Hosts" на распределенном коммутаторе.
• Отображение дополнительной информации, такой как состояние питания и информации Quiesce/memory для снапшотов виртуальных машин.

Загрузить VMware vSphere Client 3.34 можно по этой ссылке.